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РАЗРАБОТКА СИСТЕМЫ КРИТЕРИЕВ ДЛЯ ОЦЕНИВАНИЯ 
ПОСЛЕДСТВИЙ И РЕГУЛИРОВАНИЯ ПРОЦЕССОВ 
ИННОВАЦИОННЫХ РАЗРАБОТОК, ОСУЩЕСТВЛЯЕМЫХ 
В РАМКАХ МЕЖДУНАРОДНОГО СОТРУДНИЧЕСТВА! 


Введение 


Инновационная разработка — это комплекс работ и мероприятий, 
предполагающий создание нового или усовершенствованного про- 
дукта, нового или усовершенствованного технологического процесса 
и т. п. Как правило, инновационная разработка (например — НИОКР) 
может рассматриваться как часть «широкого» проекта, включающего 
саму разработку, использование ее результатов, а также завершение 
использования. Изолированное рассмотрение разработки в отрыве от 
«широкого» проекта нередко бывает бессмысленным и дезориентиру- 
ющЩим. 

Инновационная разработка, осуществляемая в рамках международ- 
ного сотрудничества, обычно подразумевает «широкий» проект, осу- 
ществляемый организациями двух и более стран, и предполагающий 
не только создание нового или усовершенствованного продукта или 
процесса, но и его использование, а также завершение использования 
(в некоторых областях, например - в атомной энергетике — завершение 
использования очень существенно). При этом возможны достаточно 
сложные ситуации, когда разработку проводит одна страна, финансиро- 
вание осуществляет другая, а использование предполагается в несколь- 
ких странах. 

К сожалению, отечественный опыт регулирования международных 
инновационных проектов, накопленный во времена СССР, не отвечает 
современным условиям. В результате регулирование такого рода про- 
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ектов с российской стороны является слабым и несовершенным. Резуль- 
татом становятся многочисленные ошибки, например: 

* эффект разработки определяется без учета ожидаемых резуль- 
татов ее промышленного внедрения за рубежом; 

. российская сторона при заключении контрактов недостаточно 
изучает зарубежных партнеров; 

. оценка ожидаемых последствий разработки сводится к опре- 
делению финансовых потерь и доходов, а социальные и поли- 
тические последствия учитываются слабо; 

. российская сторона берет на себя обязательства, наносящие 
неоправданный ущерб интересам РФ. 

Чтобы перейти к более эффективному и правильному регулированию 
инновационных разработок, осуществляемых в рамках международно- 
го сотрудничества, необходимо выстроить отвечающую современным 
требованиям технологию оценивания разработки с учетом «широкого» 
проекта, частью которого она является. Технология должна обеспечи- 
вать оценивание как проекта в целом, так и наиболее существенных 
сторон проекта, а также оценивание отдельных решений, принимаемых 
при подготовке и реализации проекта. С этой целью требуется опреде- 
лить критерии, позволяющие оценивать последствия, а также выбирать 
меры воздействия на процессы «широкого» проекта. Надо отметить, 
что число критериев, которые можно предложить для такой цели, очень 
велико. Например, в отечественной и зарубежной практике использует- 
ся более тысячи показателей, описывающих организации-разработчики 
научно-технической продукции. Множественность существующих по- 
казателей делает необходимым их отбор в соответствии с задачей оце- 
нивания. 

Для построения искомой системы критериев были взяты примеры 
совместных инновационных разработок РФ с КНР, а также РФ с рядом 
других стран, охватывающие период 1995—2010 гг. На этих примерах 
выявлялись типовые ситуации, положительные и негативные момен- 
ты «широкого» проекта, частью которого является разработка. Работа 
проводилась в увязке с анализом нормативных российских документов, 
определяющих требования к совместным инновационным работам. Од- 
новременно формировался «банк возможных решений» по регулирова- 
нию совместных инновационных разработок и осуществлялся анализ 
факторов, способных влиять на принятие таких решений и насодержание 
самих разработок. В числе таких факторов — интересы стран, участвую- 
щих в проекте, а также третьих стран, ситуация рынка и потребности 
научно-технического прогресса, особенности организаций-участников 
разработок, юридические нормативы и др. В итоге выявлены критерии, 
оценивание которых наиболее важно для практики: они описывают фи- 
нансовый эффект проекта, надежность организаций — участников разра- 
ботки, риск и др. Результаты разработки полученной системы критериев 
поясняются ниже. 
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Идеология оценивания 


Оценивание на основе полученных критериев предполагает совмест- 
ное использования экспертных оценок и результатов объективных вы- 
числений. Экспертные оценки служат для описания факторов, с трудом 
поддающихся формализации (например — для учета политических ин- 
тересов), для обеспечения соизмеримости разнокачественных факторов 
и для построения на основе такой соизмеримости «сверток» критериев. 
Объективные вычисления касаются главным образом финансовых по- 
казателей проекта, а также объемов потребляемых и производимых не- 
финансовых ресурсов. 

Требует особого внимания проблема неточности и неполноты ин- 
формации. Например, невозможно точно предвидеть успех или неуспех 
поисковых работ, курсы валют, уровень спроса на инновационную про- 
дукцию. Разноголосица суждений экспертов — еще один источник неточ- 
ности информации. В целях адекватного учета неполноты и неточности 
информации принято решение использовать интервальные (от... до...) 
оценки. 

Оценивание последствий международного инновационного сотруд- 
ничества в отрыве от конкретной ситуации бессмысленно. Поэтому 
планируется прогнозировать международную, национальную, регио- 
нальную и отраслевую ситуацию в части показателей, существенных 
для оценивания инновационной разработки. Традиционные методы ма- 
тематического прогнозирования плохо подходят для этой цели. С одной 
стороны, они достаточно громоздки и существенным образом ограничи- 
вают возможности прогноза. С другой — еще более обостряют проблему 
неточности и неполноты информации. Особую сложность представляет 
неточность и неполнота, выражающиеся в недоопределенностях не- 
статистического характера. Поэтому для построения прогноза между- 
народной, национальной, региональной и отраслевой ситуации выбра- 
на отечественная технология недоопределенных моделей (Н-моделей), 
специально созданная для работы в условиях неполноты и неточности 
информации и позволяющая (в отличие от традиционных методов) 
успешно работать с недоопределенностями любой природы, в том числе 
нестатистического характера [1, 2]. Отметим, что эта технология успеш- 
но прошла проверку на большом числе задач, связанных с экономиче- 
ским прогнозированием [3]. 

Показатели прогнозной ситуации, для которой оцениваются послед- 
ствия разработки, показатели самой разработки (продолжительность, 
трудоемкость, стоимость, оценки последствий разработки), возможные 
решения по регулированию разработки и зависимости, связывающие 
рассматриваемые показатели, образуют модель инновационной разра- 
ботки. С математической точки зрения, модель инновационной разра- 
ботки строится как совокупность констант, переменных и наложенных 
на эти величины логических и математических ограничений (условий 
вида «если... то...», уравнений и неравенств). Предполагается неупо- 
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рядоченность системы ограничений, что упрощает составление модели. 
Технология Н-моделей позволяет преодолеть трудности, обусловленные 
интервальностью оценок и неупорядоченным характером используемых 
ограничений, и дает возможность с помощью модели инновационной 
разработки легко выбирать решения по регулированию разработки. 


Оценивание финансового эффекта и 
ресурсных показателей проекта 


Оценивание финансового эффекта предполагает использование боль- 
шого числа показателей, имеющих финансовое измерение. В их числе — 
затраты и доходы, вклад в ВВП стран-участниц и др. 

Анализ ошибок, возникающих при регулировании инновационных 
проектов, осуществляемых в рамках международного сотрудничества, 
позволяет сформулировать следующие требования к оценке финансо- 
вых эффектов таких проектов: 

финансовый эффект должен быть определен как для этапа раз- 
работки, так и для этапа использования результатов разработ- 
ки, а также для периода завершения процесса использования; 

х финансовый эффект следует вычислять для организаций, за- 
тронутых проектом, а также для бюджетных систем стран- 
участниц проекта; при этом рекомендуется помнить, что 
проект может затрагивать организации, не участвующие не- 
посредственно в его исполнении; 

х следует особо выделять эффект для каждой из организаций, 
играющих ведущую роль в проекте; 

желательно также выделять эффект по группам организа- 
ций, родственных по форме участия в проекте (исполнители 
НИОКР, инвесторы, производственные предприятия, т. п.); 

основным критерием финансовой оценки проекта следует 
считать чистый дисконтированный доход, но для сопоставле- 
ния доходности проекта с точки зрения разных его участников 
следует использовать относительные показатели финансового 
эффекта (срок окупаемости, внутренняя норма доходности); 

оценка финансового эффекта должна сопровождаться обяза- 
тельной оценкой чувствительности эффекта к изменениям цен 
и затрат. 

Для финансовой оценки проекта, отвечающей этим требованиям, не- 
обходим финансовый план проекта, который должен включать: 

. поступления и возврат средств с разделением по источникам 
финансирования; 

х структуру затрат по организациям, играющим ведущую роль в 
проекте: инвестиции, материальные затраты (энергия, топли- 
во, материалы), оплата труда; 

‚ объем обусловленной проектом реализации с выделением экс- 
порта по каждой из стран-участниц; 
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. объем обусловленного проектом импорта по каждой из стран- 
участниц с выделением экспортно-импортного обмена между 
странами участницами. 

В целях оценки чувствительности эффекта к изменениям цен и затрат 
показатели финансового плана должны быть определены параллельно в 
постоянных и в прогнозных ценах. 

Для корректного оценивания финансового эффекта проекта необхо- 
дима математическая модель, позволяющая найти показатели эффекта 
на основе финансового плана. В простейшем случае эта финансовая 
модель может быть построена традиционными математическими сред- 
ствами. Однако их использование является затруднительным в усло- 
виях неполноты данных, переменчивости состава исходных данных, а 
также при желании описать интервальными оценками приближенный 
характер исходных данных. Выход из затруднений дает финансовая 
Н-модель. 

В целом ряде проектов весьма важным являются оценки потребления 
и производство нефинансовых ресурсов (материальных и трудовых), что 
требует построения ресурсной модели проекта. 

Финансовая модель, ресурсная модель, модель прогнозной ситуации 
и процедуры преобразования многокритериальных интервальных оце- 
нок в «свертки» являются составными частями общей Н-модели инно- 
вационной разработки. 


Оценивание надежности организаций -— участниц разработки 


Оценивание надежности организации — участницы разработки име- 
ет главной целью определить способность организации к выполнению 
ожидаемых от нее работ. 

Оценка ведется экспертно в баллах. Предполагается использование 
следующей шкалы оценок: 

0 — предельно низкий уровень, 

1 — низкий уровень, 

2 — пониженный уровень, 

3 — средний уровень, 

4 — повышенный уровень, 

5 — высокий уровень, 

6 — предельно высокий уровень. 

Оценки могут быть целыми и дробными, но не могут выходить за 
пределы от 0 до 6. 

Прежде всего, рекомендуется принять во внимание: 

информацию о качестве работ организации; 

информацию о возможных случаях нарушения организацией 
контрактов, соглашений ит. п.; 

общую репутацию организации в деловых и научных кругах. 

На основе всей этой информации строится предварительная оценка 
организации. 
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Для более детального рассмотрения рекомендуется оценить органи- 

зацию по следующим направлениям: 

Связи и правовое положение организации. 

Экономическое положение организации. 

Кадровый и технологический потенциал. 

Инновационная и научная активность (это направление не рас- 
сматривается для организаций, участие которых в разработке 
носит вспомогательный характер и не предполагает самостоя- 
тельной инновационной деятельности). 

По каждому из названных направлений строится отдельная оценка 
организации на основе всей доступной информации. 

Оценку по направлению «Связи и правое положение организации» 
рекомендуется строить по таким показателям как: 

. соответствие профиля организации содержанию рассматри- 
ваемой инновационной разработки; 

место, занимаемое организацией на рынке профильных для 
нее работ и услуг; 

* источники финансирования работ и размеры финансирования 
из разных источников; 

. объем работ по государственным и международным програм- 
мам; 

 включенность в научно-производственные интегрированные 
структуры и в элементы инновационной структуры (центры 
трансфера технологий, технопарки и т. д.); 

форма собственности; 

. территориальное положение; 

. подчиненность; 

° время создания организации. 

При анализе финансирования особое внимание рекомендуется уде- 
лить объему государственного финансирования работ и объему за- 
рубежного финансирования. Высокая в сопоставлении с объемом вы- 
полняемых работ и при том стабильная величина этих показателей 
свидетельствует, как правило, о надежности организации. 

Экономическое положение организации характеризуют: 

* Прибыль организации в сопоставлении с объемом выполняе- 
мых работ; 

. Бухгалтерский баланс организации и основанные на нем по- 
казатели финансовой устойчивости. 

В ряду показателей финансовой устойчивости особого внимания 
заслуживают коэффициент дебиторской задолженности (дебиторская 
задолженность к внутренним затратам), коэффициент ликвидности 
(оборотные активы к краткосрочным обязательствам), коэффициент 
автономии (капитал и резервы организации к пассивам), коэффициент 
кредиторской задолженности (кредиторская задолженность к внутрен- 
ним затратам). 

Кадровый и технологический потенциал оценивается по таким по- 
казателям как: 


В 
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наличие в организации персонала необходимого профиля и 
квалификации, а также численность этого персонала; 
наличие у организации необходимого технологического осна- 
щения, в особенности — уникальных комплексов (оборудова- 
ния, установок, стендов, биологических коллекций и т. п.). 


Инновационную и научную активность организации характеризуют: 


объем работ по внутренним затратам; 

производительность научного труда (внутренние затраты на 
исследования и разработки, отнесенные к численности иссле- 
дователей и разработчиков); 

доля инновационных работ в общем объеме работ; 

наличие у организации сертификата [$0; 

количество полученных свидетельств об открытиях за послед- 
ние 5 лет; 

количество полученных патентов на изобретения, промыш- 
ленные образцы и селекционные достижения, а также свиде- 
тельства на полезные модели за последние 3 года; 

количество полученных зарубежных патентов за последние 
3 года; 

количество реализованных сделок по проданным лицензиям 
за последние 3 года; 

количество реализованных сделок по уступке патентов за по- 
следние 3 года; 

количество правительственных наград и наград международ- 
ных организаций, полученных организацией за последние 
3 года; 

количество публикаций за последние 3 года; 

индекс цитирования публикаций (Зс1епсе & Епетеегте ш91- 
сафогз). 





Поскольку получение необходимой для оценки информации об от- 
дельных организациях (особенно — зарубежных) может быть затрудне- 
но, эксперт имеет возможность отразить возникающую неясность в виде 
интервальной балльной оценки, например — оценить надежность одного 
из участников проекта интервалом от 3 до 4. 

На основе предварительной оценки, а также оценок по отдельным 
направлениям, экспертно формируется окончательная (сводная) оценка 
организации. 


Оценивание риска проекта 


Оценка риска проекта должна учитывать большое число плохо фор- 
мализуемых факторов, что приводит к необходимости балльного оцени- 
вания с привлечением экспертных оценок. 
Оценки предлагается группировать по следующим направлениям: 

1. Политический и юридический риск. 

2. Организационный риск. 
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3. Экономический риск. 
4. Технологический риск. 
5. Прочие аспекты риска. 

Оценка по каждому направлению строится как свертка оценок по не- 
скольким критериям, описывающим направление. 

Для оценивания служит шкала оценок, выражаемых цифрами: 

0 — предельно низкий уровень, 

1 — низкий уровень, 

2 — пониженный уровень, 

3 — средний уровень, 

4 — повышенный уровень, 

5 — высокий уровень, 

6 — предельно высокий уровень. 

Эта шкала используется и для оценок по отдельным критериям, и для 
измерения значимости критериев в рамках каждого направления оцен- 
ки, и для описания значимости направлений оценки. 

Критериальным оценкам присваивается знак минус, если возраста- 
ние абсолютной величины оценки говорит о росте риска, т. е. об ухуд- 
шении ситуации, и знак плюс, если возрастание величины оценки гово- 
рит о снижении риска, т. е. об улучшении ситуации. Оценки значимости 
имеют знак плюс. 

Экспертам предоставляется возможность выбрать интервальное зна- 
чение критериальной оценки, используя целые и дробные доли баллов. 
Например, эксперт может дать оценку от 3,7 до 4,25. 

Интервальная система оценок (в отличие от традиционной точной) 
позволяет отразить сомнения экспертов и снижает риск ошибок. 

Для описания политического и юридического риска служат оценки 
по критериям: 

х стабильность политических факторов, способных влиять на 
выполнение проекта; 

. возможности противодействия со стороны стран, не заинтере- 
сованных в проекте; 

. Патентная чистота разработки; 

. влияние коррупционных факторов; 

. последствия возможных изменений законодательства. 

Критериями оценки организационного риска являются: 

. влияние проекта на осуществление других проектов; 

. соответствие проекта целям и задачам организаций- 
исполнителей; 

. стабильность партнерских отношений участников; 

. надежность участников (здесь используются результаты оце- 
нивания надежности организаций — участников разработки); 

. последствия выхода возможных организаций-исполнителей 
из проекта. 

Оценки экономического риска строятся с учетом результатов оцени- 
вания финансового эффекта проекта. При этом рассматриваются сле- 
дующие критерии: 
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х стабильность экономических факторов, способных влиять на 
выполнение проекта; 

. соответствие создаваемой продукции или технологии требо- 
ваниям и перспективам рынка; 

. конкурентная уязвимость проекта; 

. воздействие проекта на производство и сбыт других видов 
продукции; 

х обеспеченность проекта финансами; 

. обеспеченность проекта материальными ресурсами; 

‚ обеспеченность проекта трудовыми ресурсами; 

финансовая устойчивость проекта; 

Технологический риск проекта отражают оценки по критериям: 

. зависимость от незавершенных разработок; 

. зависимость от импорта оборудования и сырья из третьих 
стран; 

. возможность адаптации к изменениям; 

надежность технологических процессов. 

Перечень прочих существенных аспектов риска определяется экс- 
пертами при подготовке оценивания. Если такие аспекты для рассматри- 
ваемого проекта обнаруживаются, то их оценки включаются в перечень 
критериев. 

Корректная обработка множества балльных интервальных оценок, по- 
лученных отразных экспертов и относящихся к большому числу критериев, 
представляет собой достаточно сложную задачу. Для ее решения построе- 
на специальная вычислительная процедура, которая использует техноло- 
гию Н-моделей. Процедура позволяет находить сводную оценку мнений 
экспертов по каждому из балльных критериев, «сворачивать» разнородные 
критерии, а также измерять согласованность мнений экспертов. В случая 
низкой согласованности мнений экспертов предусматривается работа по 
выявлению и устранению причин расхождения экспертных мнений. 


Сводная оценка эффектов проекта 


Для получения сводной оценки перспектив проекта разработана схе- 
ма оценивания, которая учитывает большое число плохо формализуе- 
мых факторов и строится с привлечением экспертных оценок. 

Оценки предлагается группировать по следующим направлениям: 
Политика и национальная безопасность. 

Экономика. 

Научно-технический и инновационный аспект. 

Социальный аспект. 

Экологический аспект. 

Риск (здесь используются результаты оценивания риска про- 
екта). 

Прочие существенные эффекты проекта. 

Достоверность оценки. 


А 


Разработка системы критериев... инновационных разработок 169 





Сводная оценка перспектив проекта строится по аналогии с описан- 
ным выше оцениванием риска проекта. Оценка по каждому направле- 
нию строится как свертка оценок по нескольким критериям, описываю- 
щим направление. Одна и та же шкала оценок (от 0 до 6 по абсолютной 
величине) служит и для оценок по отдельным критериям, и для измере- 
ния значимости критериев в рамках направления оценки, и для описа- 
ния значимости направлений оценки. Допускается использование целых 
и дробных оценок. Критериальным оценкам присваивается знак минус, 
если возрастание абсолютной величины оценки говорит об ухудшении 
ситуации, и знак плюс, если возрастание величины оценки говорит об 
улучшении ситуации. Оценки значимости имеют знак плюс. Экспертам 
предоставляется возможность выбрать интервальное значение критери- 
альной оценки. 

Оценки по направлению «Политика и национальная безопасность» 
определяются раздельно для России, для зарубежных стран, участвую- 
щих в сотрудничестве, и для прочих стран. При этом учитываются оцен- 
ки по направления «Экономика», «Социальный аспект», «Экологиче- 
ский аспект» и др. В плане национальной безопасности принимаются во 
внимание все ее стороны (экономическая, социальная, экологическая, 
медицинская, информационная и др.), а не только военная безопасность. 
Используются критерии: 

. соответствие долговременным политическим интересам; 

. соответствие текущей политике руководства; 

‚ ожидаемая реакция общественности и лоббистских групп; 
. решение актуальных задач национальной безопасности; 

. решение долгосрочных задач национальной безопасности; 
. возникновение новых угроз национальной безопасности. 

Оценки по направлению «Экономика» строятся с использованием 
результатов оценивания финансового эффекта проекта. При этом опре- 
деляются раздельно для России и для зарубежных стран — участников 
сотрудничества оценки по следующим критериям: 

. ростВВП; 

. рост производственного потенциала; 

. рост научно-технического потенциала; 

. улучшение конкурентной ситуации; 

расширение адаптационных возможностей и устойчивости 
экономики; 

* доходность для бюджетной системы государства; 

. доходность для организаций, участвующих в проекте (раз- 
дельно для каждой организации). 

Кроме того, определяется оценка по критерию «влияние на экономи- 
ку третьих стран». 

Критериями оценки научно-технических и инновационных аспектов 
проекта являются: 

. новизна разработки; 
. актуальность разработки; 
. соответствие тенденциям развития науки и техники; 
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наличие конкурирующих научных направлений; 

. устойчивость перспектив работ; 

. широта применения возможных результатов работ; 
› стимулирование научно-технического прогресса. 

Оценки социальных аспектов проекта определяются раздельно для 
России и для зарубежных стран, участвующих в сотрудничестве. При 
этом используются критерии: 

.› изменения в занятости населения (создание либо ликвидация 
рабочих мест); 

. изменения в социальной структуре и структуре деятельности 
населения; 

. улучшение условий труда и быта; 

. культгурно-образовательные улучшения; 

» Другие социальные последствия. 


Оценки экологическихрезультатов проектаопределяются раздельно 
для России, для зарубежных стран, участвующих в сотрудничестве, и 
для мирового сообщества в целом. В качестве критериев, отражающих 


экологические результаты проекта, рассматриваются: 
. создание загрязнений; 
. устранение загрязнений; 
‚ сбережение невосполнимых ресурсов; 
. сбережение дефицитных ресурсов; 
. другие экологические последствия. 

Перечень прочих существенных эффектов проекта определяется экс- 
пертами при подготовке оценивания. Если такие эффекты обнаружива- 
ются, то их оценки включаются в перечень критериев. 

Достоверность оценки отражает информационные и методологиче- 
ские ограничения самого процесса оценивания. Достоверность оценки 
учитывается шириной интервалов критериальных оценок, а также пя- 
тью дополнительными критериями: 

. полнота сведений, предоставленных экспертам для оценки 
проекта; 

надежность сведений, предоставленных экспертам для оцен- 
ки проекта; 

достоверность исходной информации, положенной в основу 
разработки проекта; 

° надежность прогнозов и предположений, использованных раз- 
работчиками проекта. 

Для получения сводных оценок мнений экспертов по каждому из 
балльных критериев, для построения «сверток» разнородных критери- 
ев и для измерения согласованности мнений экспертов построена спе- 
циальная вычислительная процедура, которая использует технологию 
Н-моделей. При низкой согласованности мнений экспертов предусма- 
тривается работа по выявлению и устранению причин расхождения экс- 
пертных мнений. 


Разработка системы критериев... инновационных разработок 171 





Заключение 


В настоящее время государственное регулирование с российской 
стороны инновационных работ, осуществляемых в рамках российско- 
зарубежного сотрудничества, представляет собой малоизученную об- 
ласть. Имеется опыт такого регулирования, накопленный во времена 
СССР, но к современным условиям он мало приложим. Предлагаемая 
система критериев, основанная на примерах реальных работ, восполня- 
ет этот пробел. Система обеспечивает всестороннюю оценку междуна- 
родных инновационных проектов и отдельных решений в рамках этих 
проектов, дает возможность выбирать лучшие из них, позволяет пред- 
видеть последствия регулирующих воздействий и накапливать опыт, ка- 
сающийся как оценивания разработок, так и их регулирования. 
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